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(57) Abstract 

The invention relates to a device for detecting an object 
that is radiated by waves in the invisible spectral range. 
Preferably, infra-red radiation is used in order to enable a 
user to recognize an object on a display, projected onto a 
surface, represented in the visual range for a user, and track the 
movement of said object Computer generated user surfaces 
can thus be projected onto a background. Hand movement or 
another input unit enables contactfree input data to appear on 
said surfaces, wherein the triggering of an action is coupled 
to a given time lapse in a field which is linked to a control 
characteristic. 

(57) Zusammenfassung 

Die Erfindung betrifft eine Anordnung zur Detektion 
eines Objekts, das von Wellen im nichtsichtbaren 
Spektralbereich angestrahlt wird. Es wird vorzugsweise 
Infrarot-Beleuchtung verwendet, um auf einer auf eine 
beliebige Oberflache projizierten Anzeige, die fur den 
Benutzer im sichtbaren Spektralbereich dargestellt wird, 
ein Objekt zu erkennen und die Bewegung dieses Objekts 
verfolgen zu konnen. Somit lassen sich auf beliebigen 
Hintergrund von einem Rechner erzeugte Benutzeroberfiachen 
projizieren. Auf diesen Benutzeroberflachen konnen 
berOhrungslos Eingaben erfolgen durch Bewegung der Hand 
Oder einer anderen Eingabeeinheit, wobei die Auslosung 
einer Aktion an ein Verharren fur eine vorgcbbare Zeitdauer 
tlber einem mit einer Kontrollcharakteristik verknUpften Feld 
gekoppelt ist 
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Beschreibung 

Anordnung und Verfahren zur Detektion eines Objekts in einem 
von Wellen im nichtsichtbaren Spektralbereich angestrahl ten 
Bereich 

Die Erfindung betrifft eine Anordnung und ein Verfahren zur 
Detektion eines Objekts in einem von Wellen im 
nichtsichtbaren Spektralbereich angestrahlten Bereich. 

Ira Rahmen der Mensch-Maschine-Interaktion ist es 
wilnschenswert, wenn mittels eines Rechners verschiedene 
Gliedmaften, wie beispielsweise Kopf Oder Hand, oder auch 
abstrakte Gegenstande, wie beispielsweise ein Zeigestab, 
erkannt werden. Gentigt die Erkennung einer 

Echtzeitanforderung, so k5nnen (Teil-) Bewegungen der Objekte 
detektiert werden, bzw. Gesten erkannt werden. Eine mogliche 
Anwendung ist eine Projektion einer von einem Rechner 
erzeugten Benutzeroberf lache auf einen vorgebbaren Bereich. 
Der Benutzer agiert auf der Benutzeroberf lache bertihrungslos, 
indem er eine Eingabeeinheit (Finger, Hand oder Zeigestab) 
auf eine Kontrollf lache (Schalter der Oberf lache) bewegt. 

Ein Verfahren zur Gestenerkennung ist zum Beispiel aus [1] 
bekannt . 

Weiterhin ist eine Projektion mit Gestenbedienung nach [2] 
oder [3] bekannt. 

Bei alien bekannten Verfahren erfolgt die Auswertung der 
Geste im sichtbaren Spektralbereich. Dabei besteht zum einen 
das Problem, dafi die Projektion von dem Objekt, das die Geste 
ausfUhrt, unterschieden werden muB, zum anderen kGnnen die 
Farbe des Hintergrunds, auf den die Projektion erfolgt, und 
der Grad der Umgebungshelligkeit die Detektion deutlich 
erschweren bis unmoglich machen. 
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Die Aufgabe der Erfindung besteht darin, eine Detektion eines 
in einen projizierten Bereich eingebrachten Objektes zu 
ermoglichen, wobei vermieden wird, dali sich Projektion und 
5 Aufnahme gegenseitig beeinf lussen . 

Diese Aufgabe wird gemafl den Merkmalen der unabhangigen- 
Patentansprliche gelSst • 

Urn ein Objekt in einem vorgebbaren Bereich zu detektieren, 
wird es dazu von Wellen, deren Wellenlange im nichtsichtbaren 
Spektralbereich liegt, angestrahlt . Eine Empf angseinrichtung 
ist speziell fur einen den Wellen entsprechenden 
nichtsichtbaren Spektralbereich abgeglichen und nimmt demnach 
nur Wellen in diesem Spektrum auf. Das zu detektierende 
Objekt reflektiert die Wellen auf eine andere Art (z.B. 
absorbiert die Haut Inf rarotlicht starker als anorganisch- 
glatte Materialien) als der Hintergrund. Demnach konnen die 
von der Empf angseinrichtung auf genommenen Wellen mittels 
eines Erkennungsalgorithmus das Objekt entdecken und die mit 
dem Objekt verbundene Bewegung detektieren. 

Eine Weiterbildung der Erfindung besteht darin, eine 
Inf rarotlichtquelle zur Emission der Wellen im 
25 nichtsichtbaren Spektralbereich zu verwenden. Dabei kann die 
Infrarotlichtquelle realisiert sein als entweder mindestens 
eine Inf rarotleuchtdiode oder mindestens eine GlUhbirne mit 
vorgeschaltetem Inf rarotf ilter . 



30 Zweckmafiig ist die Empf angseinrichtung als Kamera 

ausgestaltet . Bei Verwendung der Infrarotlichtquelle ist es 
vorteilhaft, die Kamera mit einem Filter, das nur ftlr 
Infrarotlicht durchiassig ist, auszugestalten. Eine weitere 
zweckmafiige Anwendung besteht darin, die Kamera, falls 

35 Infrarotleuchtdioden als Infrarotlichtquelle benutzt werden, 
mit einem Filter zu versehen, das nur im speziellen 
Spektralbereich der Infrarotleuchtdioden empfindlich ist. 
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Weiterhin ist es vorteilhaft, wenn das vorgebbare Gebiet von 
unten mit Inf rarotlicht durchleuchtet wird, wobei im 
sichtbaren Spektralbereich die Pro j ektionsf lache 
5 reflektierend und im Inf rarot-Spektralbereich durchlassig 
ausgestaltet ist. 

Schliefilich ist es vorteilhaft, wenn eine Einheit, die die 
Wellen im nichtsichtbaren Spektralbereich aussendet mit der 
10 Empfangseinrichtung (Kamera) auf der gleichen optischen Achse 
liegt . 

Ferner ist es zweckmafiig, wenn auf dem angestrahlten Bereich 
die Oberflache entweder aus Ref lexgewebe, aus Reflexfilm, 
15 oder aus speziellem Gewebe mit prismenbeschichteter 
Oberflache besteht. 

Ferner kann die Erfindung auch eingesetzt werden, wenn 
anstelle von Inf rarotlicht Ultraschall oder ultraviolette 
20 Strahlung verwendet wird. Die Empfangseinrichtung ist dabei 
jeweils ftir Ultraschall oder ftir ultraviolette Strahlung 
spezif isch auszulegen . 

Zweckmafiig ist ein Verfahren zum Betrieb der Erfindung 
25 derart, dafi auf den Bereich ein Videobild, das von einem 

Rechner generiert wird und Uber mindestens ein Feld mit einer 
Kontrollcharakteristik verftigt, projiziert wird. In diesen 
projizierten Bereich wird das Objekt bewegt und die 
Kontrollcharakteristik wird durch dieses Objekt ausgelost, 
30 indem das Objekt ftir eine vorgebbare Zeitdauer auf dem mit 
der Kontrollcharakteristik verkntipften Feld verharrt. Das 
Objekt kann zweckmafiig ein Finger, eine Hand oder ein 
Zeigestab sein. Weiterhin kann mit dem Objekt ein Mauszeiger 
oder ein sonstiger Eingabezeiger assoziiert sein, der durch 
35 Bewegung des bspw. Fingers, oder allgemein des Objekts das 
ftir die Eingabe verwendet wird, Uber das projizierte Gebiet 
bewegt wird. 
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Die Projektion kann auch auf eine Leinwand erfolgen. Eine 
Eingabe geschieht durch Deuten mit einem vorgebbaren Objekt 
auf diese Leinwand, indem von einem Rechner mindestens ein 
5 Feld mit einer Kontrollcharakteristik auf die Leinwand 

projiziert wird und das Eingabeobjekt flir eine vorgebbare 
Zeitdauer ttber diesem Feld verharrt. Hierbei sei angemerkt, 
daft ohne Einschrankung fiir das in dem projizierten Bereich 
bewegte Objekt beispielhaft eine Hand, ein Finger, oder ein 
10 Zeigestab angenommen werden kann. 

Weiterbildungen der Erfindung ergeben sich aus den abhangigen 
Anspriichen. 

15 Anhand der folgenden Figuren wird ein Ausf Uhrungsbeispiel 
naher dargestellt. 

Es zeigen 

20 Fig.l ein Blockdiagramm, das die Schritte des 
erfindungsgemafien Verfahrens enthalt und 

Fig. 2 eine Skizze, die die prinzipielle Anordnung einer 
moglichen Realisierung der Erfindung darstellt. 

25 

In Figur 1 wird dargestellt, welche Schritte das 
erfindungsgemafie Verfahren umfafit. In einem ersten Schritt la 
wird ein vorgebbarer Bereich mit Wellen im nichtsichtbaren 
Spektralbereich angestrahlt. Eine Empf angseinrichtung, die 

30 vorteilhaft vor allem die emittierten Wellen im 

nichtsichtbaren Spektralbereich aufnimmt, empfangt die von 
dem angestrahlten Bereich ref lektierten Wellen. Wird ein 
vorgebbares Objekt in den angestrahlten Bereich bewegt, so 
werden die von dem Objekt ref lektierten Wellen mittels eines 

35 Erkennungsalgorithmus unterschieden von den anderen in dem 
Bereich ref lektierten Wellen (Schritt lb) . Schliefilich wird 
das Objekt im Schritt lc detektiert (identif iziert) . Verharrt 
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nun dieses als Eingabeeinheit erkanntes Objekt filr eine 
vorgebbare Zeit auf einem mit einer Kontrollcharakteristik 
verkntipften Feld, das auf den Bereich projiziert wird, so 
wird die Kontrollcharakteristik, vergleichbar dem Klicken mit 
5 einer Maus auf ein dafiir geeignetes Feld, ausgelost. 

In Figur 2 wird eine mogliche erf indungsgemafie Anordnung, 
ohne dafi eine einschrankende Wirkung beabsichtigt ist, anhand 
eines Virtual-Touch-Screens beschrieben. Eine 

10 Benutzeroberf lache BOF wird auf einen vorgebbaren Bereich, 
hier ein Proj ektionsdisplay PD, abgebildet. Das 
Projektionsdisplay PD ersetzt in diesem Fall einen 
konventionellen Bildschirm. Die Eingabe erfolgt durch 
direktes Zeigen, in Fig. 2 angedeutet durch die Hand H, auf 

15 die Benutzeroberf lache BOF. Dadurch konnen beispielsweise 
Tastatur, Maus, Touchscreen oder Digitalisiertablett 
konventioneller Systeme ersetzt werden. Die Erkennung der 
Gesten, sowie die Positionierung innerhalb der 

Benutzeroberflache BOF werden durch ein videobasiertes System 
20 (Gestik-Computer) , das in der Lage ist, Projektion und Form 
z.B. der mens chli chen Hand in Echtzeit zu erkennen und zu 
verfolgen, realisiert (beschrieben beispielsweise in [1] oder 
[2]). 

25 Im Beispiel, das in Figur 2 dargestellt ist, wird das 
Projektionsdisplay mit Inf rarotlicht beleuchtet. Die 
Infrarotlichtquelle IRL kann vorteilhaft mittels 
Infrarotleuchtdioden ausgefUhrt sein. Eine Kamera K, die 
vorzugsweise mit einem speziellen Inf rarotf ilter IRF, das im 

30 infraroten Spektralbereich empfindlich ist, ausgestaltet ist, 
nimmt das Projektionsdisplay PD auf. Mit einem Projektor P, 
der von einem Rechner R gesteuert wird, wird die 
Benutzeroberflache BOF auf das Projektionsdisplay PD 
abgebildet. Die Benutzeroberflache BOF kann dabei 

35 ausgestaltet sein wie bspw. ein Menusystem auf einem Monitor 
des Rechners R. Ein Mauszeiger MZ wird jetzt nicht mit einer 
herkommlichen Eingabevorrichtung, wie beispielsweise einer 
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optischen oder mechanischen Maus Oder eine Trackballs, 
bewegt, sondern durch die Hand H des Benutzers. Anstelle der 
Hand H kann bspw. auch ein Zeigestab verwendet werderi. Soil, 
wie hier im Beispiel, auf der Benutzeroberf lache BOF die 
5 Kontrollcharakteristik eines Feldes F aufgerufen werden, so 
wird die Hand H Uber das Feld F bewegt, wobei der Mauszeiger 
MZ der Hand H folgt. Verharrt die Hand H filr eine vorgebbare 
Zeitdauer Uber dem Feld F, so wird die mit dem Feld F 
verknUpfte Kontrollcharakteristik auf dem Rechner R 
10 ausgelost. 

Die Erfindung ermoglicht es also, die Projektion, hier die 
Benutzeroberflache BOF, ohne Einflufi auf die Aufnahme 
auszugestalten, da die im Inf rarotbereich empfindliche Kamera 

15 K, die vom Projektor angezeigte Benutzeroberflache BOF nicht 
aufnimmt. Die im sichtbaren Spektralbereich projizierte 
Information fUr den Benutzer ist somit fttr die Auswertung der 
Eingabe mittels der Kamera K durch den Rechner R unsichtbar. 
Es kommt also zu keinen stSrenden Einfllissen durch die 

20 Projektion. Die Information Uber das Feld F, das vom 

Projektor P im sichtbaren Bereich exklusiv ftir den Benutzer 
angezeigt wird, von der Kamera K jedoch nicht erfafit wird, 
wird durch relative Positionierung innerhalb der 
Benutzeroberflache BOF gefunden. 

25 

Urn sicherzustellen, daft der Projektor P fttr die Kamera K ein 
unsichtbares Bild liefert, kann der Projektor P zusatzlich 
mit einem Inf rarot-Sperrf ilter ausgeriistet sein. Somit wird 
vom Projektor keinerlei infrarote Strahlung emittiert. Ein 
30 spezielles Inf rarotf ilter IRF vor der Kamera K bewirkt, dafi 

nur infrarote Strahlung in der speziellen Wellenlange der von 
der infraroten Lichtquelle IRL emittierten Strahlung erfafit 
wird. 



35 
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Im Rahmen dieses Dokuments wurden folgende Verdf f entlichungen 
zitiert : 

[1] Gestenerkennung, z*B. 
DE 195 16 664 CI 

[2] Projektion mit Gestenbedienung und Auswertung im 
sichtbaren Bereich 
US-Patent 5,528,263 

[3] P. Wellner: The DigitalDesk Calculator: Tangible 
Manipulation on a Desk Top Display, Proc. of the 
UIST'91, 11.-13.11.1991, Seiten 27-33. 



15 



WO 98/38533 



PCT/DE98/00368 



Patentanspruche 

1. Anordnung zur Detektion eines Objekts in einem von Wellen 
im nichtsichtbaren Spektralbereich angestrahlten Bereich, 

5 a) mit einem Projektor, der derart eingerichtet ist, daB 

ein Videobild auf den Bereich projizierbar ist, 

b) mit einer Empf angseinrichtung, die derart eingerichtet 
ist, daB sie dem angestrahlten Bereich aufnimmt, 

c) bei der ein Rechner vorgesehen ist, der derart 

10 eingerichtet ist, daB von einem Objekt reflektierte 

Wellen von sichtbaren ref lektierten Wellen mit Hilfe 
eines Erkennungsalgorithmus unterscheidbar sind, 

d) bei der der Erkennungsalgorithmus das Objekt 
detektiert . 

15 

2. Anordnung nach Anspruch 1, 

bei der eine Einrichtung zur Emission von Wellen im 
nichtsichtbaren Spektralbereich mindestens eine Infrarot- 
Lichtquelle umfaBt und bei der die Empf angseinrichtung 
20 mindestens eine Kamera ist. 

3. Anordnung nach Anspruch 2, 

bei der die Inf rarot-Lichtquelle eine der folgenden 
Komponenten ist: 
25 a) eine Inf rarot-Leuchtdiode ( Inf rarot-LED) , 

b) eine Gliihbirne mit Inf rarot-Filter . 

4. Anordnung nach Anspruch 3, 

bei der die Kamera ein Filter, das nur fttr Inf rarot-Licht 
30 durchlassig ist, aufweist. 

5. Anordnung nach Anspruch 4, 

bei der das Filter der Kamera, nur fttr den 
Spektralbereich der Inf rarot-Leuchtdioden durchlassig 
35 ist* 
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6. Anordnung nach einem der Ansprttche 1 bis 5, 

bei der das vorgebbare Gebiet von unten mit Infrarot- 
Licht durchleuchtet wird, wobei im sichtbaren 
Spektralbereich die Projektionsoberf lache ref lektierend 
5 und im Inf rarot-Spektralbereich durchlassig ausgeftthrt 

ist . 

7. Anordnung nach Anspruch 1, 

bei der eine Einrichtung zur Emission von Wellen im 
10 nichtsichtbaren Spektralbereich mindestens ein Mittel zur 

Emission von ultravioletter Strahlung umfafit und bei der 
die Empfangseinrichtung mindestens ein Empfanger fur 
ultraviolette Strahlung ist. 

15 8. Anordnung nach Anspruch 1, 

bei der eine Einrichtung zur Emission von Wellen im 
nichtsichtbaren Spektralbereich mindestens ein Mittel zur 
Emission von Ultraschall umfafit und bei der die 
Empfangseinrichtung mindestens ein Empfanger fUr 

20 Ultraschall ist. 

9. Anordnung nach einem der vorhergehenden AnsprUche, 

bei der sowohl die den Bereich anstrahlenden Wellen als 
auch die Empfangseinrichtung (Kamera) auf einer optischen 
25 Achse liegen. 

10. Anordnung nach einem der vorhergehenden AnsprUche, 
bei der auf dem Bereich mindestens eine der folgende 
Oberf lichen angebracht ist: 

30 a) Ref lexgewebe, 

b) Reflexfilme, 

c) spezielles Gewebe mit prismenbeschichteter Oberf lache. 



11. Verfahren zur Detektion eines Objekts in einem von Wellen 
im nichtsichtbaren Spektralbereich angestrahlten Bereich, 
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a) bei dem in den Bereich ein Videobild, das tiber 
mindestens ein Feld mit einer Kontrollcharakteristik 
verfttgt, generiert wird von einem Rechner und auf ein 
vorgebbares Gebiet projiziert wird, 

b) bei dem das Objekt in den Bereich bewegt wird, 

c) bei dem durch das Objekt die Kontrollcharakteristik 
eines Feldes ausgelost wird, indem das Objekt ftlr eine 
vorgebbare Zeitdauer auf dem Feld verharrt. 

12. Verfahren nach Anspruch 11, 

bei dem das Objekt ein Finger ist mit dem die 
Kontrollcharakteristik des Feldes ausgelost wird, 

13. Verfahren nach Anspruch 11 oder 12, 

bei mit dem Objekt ein Mauszeiger assoziiert wird, der 
durch Bewegung des Fingers Uber das projizierte Gebiet 
bewegt wird. 

14. Verfahren nach einem der Ansprttche 11 bis 13, 

bei dem das vorgebbare Gebiet durch eine Leinwand 
ausgeftlhrt ist. 

15. Verfahren nach einem der AnsprUche 11 bis 14, 
bei dem das Objekt zur Auslosung der 

Kontrollcharakteristik als Finger, Hand oder- Zeigestab 
ausgeftthrt ist. 
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